พระสุริยภักดี มีบุตรธิดากับคุณศรี 3 คน และมีบุตรธิดากับภรรยาอื่น 11 คน ธิดาท่านหนึ่งชื่อ สุด เป็นเจ้าจอมในรัชกาลที่ 4 ธิดาชื่อ เดิม เป็นคุณหญิงของพระยาสุรศักดิ์มนตรี (แสง ชูโต) ธิดาอีกท่านหนึ่งชื่อ เขียน เป็นภรรยาของนายสนิทยศสถาน (พร้อม จาตุรงคกุล)

พระสุริยภักดีมีบุตรชาย 5 คน เกิดจากคุณศรี ณ บางช้าง 1 คน คือ คุณแดง เกิดจาก คุณเอี่ยม 1 คน คือ คุณฝรั่ง แต่ทั้ง 2 เสียชีวิตตั้งแต่เด็ก และมีบุตรชายที่เสียชีวิตตั้งแต่เกิดอีก 2 คน เหลือแต่ที่เกิดจาก คุณมอญ ชูโต คือ นายอ๋อย มหาดเล็ก ซึ่งแต่งงานกับ คุณจีน พี่สาวต่างมารดา และมีลูกสาวเพียงคนเดียว[4]